Dilahirkan di Tikhvin, 200 km di timur St. Petersburg dari kalangan keluarga bangsawan, Rimsky-Korsakov mula menunjukkan bakat nyanyian beliau daripada satu usia yang muda. Namun beliau kemudiannya dihantar belajar di Russian Imperial Naval College di St. Petersburg dan kemudiannya menganggotai tentera laut Russia. Beliau mula memberi tumpuan secara penuh kepada muzik pada tahun 1861 apabila beliau bertemu dengan Mily Balakirev.

Balakirev memberikan Rimsky-Korsakov dorongan dan tunjuk ajar semasa Rimsky-Korsakov tidak bertugas. (Episod fiksyen perkhidmatan Rimsky-Korsakov di dalam tentera laut membentuk plot untuk wayang gambar Song of Scheherezade (1947), yang mana skor muziknya diadaptasi oleh Miklós Rózsa.) Melalui Balakirev, Rimsky-Korsakov bertemu dengan penggubah-penggubah lain yang kemudiannya dikenali sebagai "The Mighty Handful" (lebih dikenali di dalam bahasa Inggeris sebagai "The Five").

Semasa bertugas di dalam tentera laut (sebahagiannya disiapkan dalam waktu pelayaran), beliau menggubah simfoni pertamanya pada sekitar tahun 1861-1865. Simfoni tersebut dianggap ramai sebagai gubahan pertama direka oleh seorang berbangsa Russia, walaupun penggubah Anton Rubinstein sebenarnya menggubah simfoni petama beliau pada tahun 1850. Sebelum meletakkan jawatannya di dalam tentara laut pada tahun 1873, beliau telah menyiapkan satu bahagian orkestra yang terkenal, Sadko pada tahun 1867 dan juga sebuah opera yang diberi nama The Maid of Pskov (1872). Karya-karya ini adalah tiga di kalangan beberapa kerja awal yang kemudiannya disemak semula oleh beliau.